package com.linys.scala.qf.day06_spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object CreateRDD {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Test").setMaster("local")
    val sc = new SparkContext(conf)

    //这两个方法都有第二参数是一个默认值2  分片数量(partition的数量)
    //scala集合通过makeRDD创建RDD,底层实现也是parallelize
    val rdd1 : RDD[Int] = sc.makeRDD(Array(1,2,3,4,5,6))

    //scala集合通过parallelize创建RDD
    val rdd2 : RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6))
    val rdd3 : RDD[(String, Int)] = sc.parallelize(Seq(("tom", 18),("jack", 16),("jerry", 21)))

    //从外部存储创建RDD
    val rdd4 : RDD[String]= sc.textFile("D:\\1.txt")

    sc.stop
  }


}
